Conditional Expectation

or
조건부 기대값

Create : 2025년 8월 20일 15:13Update : 2025년 8월 21일 19:15

# Tag:

Conditional Expectation(조건부 기대값)

다른 확률 변수의 값을 안다는 조건 하에 어떤 확률 변수의 기대값.

어느 한 값을 알게 된다고 하면, 보통 다른 값에 대해 믿음이 변하는 경우가 많다. 이런 경우는 조건부로 기대값을 구해야 한다.
ex) 아주 큰 값이 나왔다면, 다른 것이 같은 분포일 때 그처럼 비슷한 큰 값이 나올 것이라는 믿음.

Discrete: $E [Y ∣ X = x] = \sum_{y} y P (Y = y ∣ X = x)$
Continious: $E [Y ∣ X = x] = \int_{- \infty}^{\infty} y f_{Y ∣ X} (y ∣ x) d y = \int_{- \infty}^{\infty} y \frac{f _{X, Y} ( x , y )}{f _{X} ( x )} d y$
- 조건부 PDF $f_{Y ∣ X}$ 에 대해서 기대값의 정의로 계산한 결과이다. 베이즈 정리에 의해 맨 오른쪽 식과 동일하게 된다.

위의 경우는 $X = x$ 라는 확률 변수 $X$ 가 특정한 값 $x$ 라는 조건 하에 $Y$ 의 기대값을 말하는데, 이를 좀 일반화시켜서 말하면 $x$ 값에 따라 $Y$ 의 기대 값이 달라지는 함수로 볼 수 있다. 즉,

g (x) = E [Y ∣ X = x]

$X$ 를 이에 대해서 대체해서 쓴다고 하면,

g (X) = E [Y ∣ X]

⇒ 즉, $X$ 자체에 대한 조건이라고 하면, $X$ 값이 달라질 때마다 그에 대한 $Y$ 의 기대 값이 나오는 함수 = 확률 변수가 나오게 된다. 즉, $X$ 를 정의역으로 가지는 함수이다.

다시 정리하면,

$X = x$ 가 조건 ⇒ 특정 값.
$X$ 가 조건 ⇒ 함수.

X \sim N (0, 1)

Y = X^{2}

일 때,

E [X ∣ Y] = E [X ∣ X^{2}] = 0

⇒ $X^{2} = a$ 이면 $X = \pm a$ 이고, 각 값의 확률은 동일하므로 그를 합치면 0이 된다.

Properties

$E [h (X) Y ∣ X] = h (X) E [Y ∣ X]$ ⇒ $X$ 를 알고 있으므로 $h (X)$ 도 알고 있어 상수 취급 가능해 빼낼 수 있음.
$X$ 와 $Y$ 가 독립일 때 $E [Y ∣ X] = E [Y]$
1. 필요충분조건으로써 성립하지는 않는다. 기대값이 위처럼 나오더라도, 둘은 독립이 아닐 수도 있다.
$E [E [Y ∣ X]] = E [Y]$ : Adam's Law

4. $E [(Y - E [Y ∣ X]) h (X)] = 0$

⇒ $X$ 를 이용한 $Y$ 의 예측이 실제 $Y$ 에서 얼마나 빗나 갔는지에 $X$ 에 대한 임의의 함수를 곱하면 항상 0. 1. 잔차(residual): $Y$ 의 예측이 실제 $Y$ 에서 얼마나 빗나 갔는지 ⇒ $(Y - E [Y ∣ X])$ 2. 가 에 대한 임의의 함수와 비상관이라는 것을 의미한다. 실제로 둘의 공분산을 구해보면 0이다.

4.1 Proof

= E [E [Yh (X)] - E [E [Y ∣ X] h (X)]]

1번 특성에 의해

= E [E [Yh (X)] - E [E [Yh (X) ∣ X]]] = 0

Adam's Law를 적용하면 그 값은 0이 된다.

4.1.1 선형 대수학 관점에서

벡터공간에 대한 공리를 만족한다면, 이는 벡터로 다룰 수 있다. 함수, 즉 확률 변수 역시 마찬가지다. $X$ 가 만약 Multivariate Distribution이였다면 더욱 합리적이다.

조건부 기대는 $X$ 를 정의역으로 가지는 함수의 집합:평면에 대한 Orthogonal Projection과 동일하다.
다시 말하면, 그 평면을 $A$ 라고 하면 $A$ 행렬은 $X$ 에 대한 함수는 벡터 함수이므로, 그 벡터 함수들을 모아놓은 행렬과 동일하다. ⇒ $h (X)$ 들의 집합.

이 때, $E [Y ∣ X]$ 가 $X$ 에 대한 함수이므로 $A$ 위에 있을 것이고, $Y$ 와의 오차(MSE)를 가장 작게 하려면 $Y$ 의 $A$ 에 대한 정사영이 되어야 한다. Least Squares와 동일한 문제이다.

$Y - E [Y ∣ X]$ 는 평면 $A$ 에서 $Y$ 까지 올라가는 벡터가 되고, 이는 $A$ 와 수직이다.

$E [X Y]$ 는 내적( $E [X Y] = \sum_{i} \sum_{j} x_{i} y_{j} P (X = x_{i}, Y = y_{j})$ )을 의미하고, $h (X)$ 는 $A$ 위의 벡터이므로 $E [(Y - E [Y ∣ X]) h (X)] = 0$ 가 성립한다.

5. EVE's Law

V [Y] = E [V [Y ∣ X]] + V [E [Y ∣ X]]

Poisson Distribution에 대한 조건부 기대값

iid한 푸아송 확률 변수 $X \sim Poisson (λ)$ , $Y \sim Poisson (λ)$ 가 있다고 하면

$E [X + Y ∣ X]$ 에 대해

Linearity에 의해 $E [X + Y ∣ X] = E [X ∣ X] + E [Y ∣ X]$
$E (X ∣ X) = X$
$X$ 와 $Y$ 는 서로 독립이므로 $E [Y ∣ X] = E [Y] = λ$
$E [X + Y ∣ X] = E [X ∣ X] + E [Y ∣ X] = X + λ$

$E [X ∣ X + Y]$ 에 대해

1. $T = X + Y$ 라고 하면

P (X = k ∣ T = n) = \frac{P ( T = n ∣ X = k ) P ( X = k )}{P ( T = n )}

$T = n$ 일 때, $Y = n - k$ 이고 $X$ 와 $Y$ 는 독립이므로 $P (Y - n - k ∣ X = k) = P (Y = n - k)$

= P (X = k ∣ T = n) = \frac{P ( Y = n - k )) P ( X = k )}{P ( T = n )} = \frac{e ^{- λ} λ ^{n - k} / ( n - k )! \cdot e ^{- λ} λ ^{k} / k !}{e ^{- 2 λ} ( 2 λ ) ^{n} / n !} = \frac{n !}{k ! ( n - k )!} \cdot \frac{1}{2 ^{n}}

= (k n) (\frac{1}{2})^{k} (\frac{1}{2})^{n - k}

⇒ 이는 $p = 1/2$ 로 봤을 때의 Binomial Distribution의 PMF와 동일하다. 이 때, 이항 분포의 기대값은 $n p = n /2$ .

E [X ∣ X + Y = n] = E [X ∣ T = n] = n /2

E [X ∣ T] = T /2 = E [X ∣ X + Y] = \frac{X + Y}{2}

2. 대칭성으로

$X$ 와 $Y$ 가 독립적이고 동일 분포이므로, $E [X ∣ X + Y] = E [Y ∣ X + Y]$

이 때, 선형성에 의해

2 E [X ∣ X + Y] = E [X ∣ X + Y] + E [Y ∣ X + Y] = E [X + Y ∣ X + Y] = X + Y

E [X ∣ X + Y] = \frac{X + Y}{2}